#Embedding Compression

3 篇

Generative Late-Interaction Embeddings For Visual Document Retrieval

生成式晚交互嵌入用于视觉文档检索

🧭 多向量检索压缩与生成式重建

King Abdullah University of Science and Technology (KAUST) · Edge Hill University

GLIE 用 k≪N 个向量存储并生成式重建完整 late-interaction 向量集，在 4 向量/页保留近 80% nDCG@5

📌 工作参考价值（4 点）

电商/广告的多向量 late-interaction 索引（如商品图文与 OCR 特征）不要只用随机采样或平均压缩；可以学习极小 decoder，从少量基向量重建完整向量集，用于召回后精确重排。存储预算可从每商品数千向量降到 4-16 个，仍保留大部分排序精度。
若向量已 L2 归一化，做 k-means/PQ/IVF 聚类时务必把质心重新归一化到球面；本文显示这项免费操作对 MaxSim 有最高 +0.093 nDCG@5 的收益，电商向量通常也做归一化，可直接迁移。
训练预算非常小：1,000 页 / 415K 参数 / 3 GPU-minutes 即可得到可用的生成式 read-out；在做 embedding index 压缩时，可以先尝试轻量 decoder，而不是直接微调 large encoder，尤其适合快速适配新类目/新域。
对 Agent/RAG 场景，可借鉴非对称检索流程：粗糙 k 向量索引 -> 生成式重建 top candidates -> 精确 MaxSim，降低长文档/商品详情页检索的 memory 和 latency。

Multimodal | 2026-09-09 | HF Daily | score 6/10

AdaWidth：面向稠密检索的查询自适应嵌入宽度

🧭 稠密检索 · 查询自适应嵌入宽度 ★ 深度解读

University of Washington

正交前缀适配器加查询路由器，在共享前缀下按查询分配嵌入宽度，匹配 SOTA 且维度减少 55%-84%

📌 工作参考价值（4 点）

双塔召回/商品搜索中，可以冻结已上线 encoder，加 Householder/WY 正交适配器对 query/item 共同旋转，保证全宽内积不变、全宽 KPI 不变；item 离线旋转一次，在线只算前缀，风险低。
在线先做 64 维前缀召回/排序，路由器只读已有排序的 score gap、熵等 rank-order 特征，判断是否不稳定；只对 top ρ 的 query 升级到 128/256 维，平均维度下降且无需额外 encoder 前向。
容量规划可参考 prefix sufficiency：所需维度随语料规模对数增长、随检索深度对数下降；大促候选池膨胀时不用线性扩维，可按 log N 调整。
低资源场景用 F=8 的 Householder 适配器仅约 13.8K 参数，比 dense adaptor 少 50-280 倍，效果仍领先 baselines，适合轻量部署。

Other | 2026-08-24 | cs.IR | score 8/10

大规模多模态推荐的URecJPQ：联合乘积量化实现内存高效模型

🧭 多模态推荐模型压缩 · 联合乘积量化

University of Bari Aldo Moro · University of Glasgow · Spotify

用联合乘积量化将用户/物品ID与多模态特征压缩为共享子嵌入拼接，在参数量减少98%+的同时保持推荐精度

📌 工作参考价值（4 点）

在电商/广告等大规模多模态推荐场景，可直接采用联合乘积量化（JPQ）替换全量 ID 嵌入表：为每个 user/item 分配多组码本中的码字索引，拼接得到嵌入向量，将参数量压缩 98%–99%，大幅降低 GPU 显存占用和检查点大小。
多模态侧，可将预训练的模态特征（文本、图像等）也纳入量化框架，例如对模态编码器输出做分桶或学习离散码本，避免存储每个 item 的完整 dense 向量，特别适合物品库频繁更新的广告系统。
实验发现，在婴童产品等某些品类上，量化后模型 Recall 反而提升 85%，暗示嵌入压缩带来的正则化效应能缓解稀疏数据下的过拟合，可尝试在 cold-start 或长尾 item 上刻意使用更高压缩比。
工程落地几乎零成本：URecJPQ 仅修改嵌入查找层，不改变模型主干架构，可以直接嫁接到现有双塔、DIN 等模型上，快速上线测试。

RecSys | 2026-06-22 | cs.IR | score 7/10